В процессе игрищ с данными нашелся такой неожиданный (для меня) эффект ( Read more... )

Начну рассказ вот с этого замечательного результата работы программного кода:

два́ лингви́ста спо́ря тво́рог иль творо́г
мо́рдами друг дру́га би́ли об поро́г

Приведенные выше две строчки это результат полностью автоматической разметки текста алгоритмом, который я для удобства внутри проекта называю "поэтический транскриптор". Самое интересное в ( Read more... )

На данный момент я знаю 3 публичных датасета, содержащих перефразировки русскоязычных предложений. Я не использую их непосредственно в проекте чатбота из-за проблем с качеством контента. Но в качестве претренировочного сырья для нейросетевых моделей их стоит учитывать.

( Read more... )

Несколько SQL-запросов к словарной базе и нашлись такие пары предложных словосочетаний и омофоничных/омографичных существительных (кое-где ударение не совпадает, поэтому омографы):

В + аккузатив или препозитив:
( Read more... )

Сочетание 1) генератора текста на заданную тему и 2) модели оценки "забавности".

Тема - ключевые слова "эпидемия новый вирус начаться китай вакцина карантин"

( Read more... )

Коллега по работе навел на замечательный пост Длинные слова и длинные предложения (о рекордах).
Я решил перепроверить часть указанных там рекордов по своей словарной базе. Та-дам!

( Самые длинные существительные )

Оценка точности разметки существительных для морфологического анализатора RnnMorph.
В качестве эталона разметки взят "Подкорпус со снятой омонимией" из OpenCorpora.

NOUN recall=0.9931500509117838
NOUN precision=0.9943005421435522
NOUN+tags precision=0.9590843797785089NOUN precision - точность без учета тегов, NOUN+tags - точность с учетом тэгов ( Read more... )

Одна из основных проблем при использовании pymorphy2 в качестве морфологического анализатора для парсера видна на следующем примере. Вот результаты анализа слов в тестовом предложении "в огромном сарае лежало старое сено":
( Read more... )

Обнаружил у себя датасет (файл в репе 3 Мб) с большим списком сэмплов такого вида:
( Read more... )

В репозиторий https://github.com/Koziev/GrammarEngine выгружены полные актуальные сборки русской словарной базы для 64-битных Windows и Linux. Историческая ремарка - необходимость в разных версиях словаря под вин и лин объясняется такой замечательной особенностью C++, как отсутствие гараний размера основных типов данных. В частности, wchar_t для ( Read more... )